成像专题 | 智能光谱探测:深度学习宽光谱编码随机滤光片成像 (Light: Science & Applications)
本期导读
高分辨率的光谱成像在天文、遥感、生物、环境等许多领域都发挥着巨大的作用。随着计算成像技术的发展,计算型的光谱成像可以使光谱成像设备变得更加紧凑和廉价,甚至使普通的彩色图像传感器变身为通道数更多的光谱图像传感器。然而,由于光谱图像的巨大数据量、重建算法对噪声的敏感性以及宽光谱编码滤光片难以定量优化设计,计算型光谱相机的图像重建速度及图像质量仍与传统的光谱成像设备有着较大的差距。针对现有挑战,来自浙江大学现代光学仪器国家重点实验室刘旭教授、郝翔研究员团队的研究人员使用深度学习对光谱相机中的宽光谱编码滤光片及解码算法进行了协同设计,实现了基于宽光谱编码随机滤光片的光谱相机(BEST Camera)。其光谱图像重建速度比以往方法快了7000-11,000倍,并且抗噪声性能提升了约10倍,用16个滤光片通道在可见光范围内(400-700nm)实现了5.2nm的等效光谱分辨率。相关成果以 Deeply learned broadband encoding stochastic hyperspectral imaging 于近期发表在Nature旗下光学顶级期刊《Light: Science and Applications》上。
技术背景
需要注意的是,无论使用孔径编码还是随机滤光片,现有的快照式光谱成像系统在获取数据后大都需要使用迭代算法进行光谱图像重建,其重建时间往往远大于数据获取的时间,不适用于对实时性要求较高的应用场景。同时,基于压缩感知的探测方法对噪声更为敏感,这对光谱图像重建算法的抗噪声性能提出了更高的要求。另外,目前用于光谱探测的随机滤光片只能依靠随机生产-挑选的方式获得,难以定量地优化设计。
技术思路
滤光片设计
重建算法实现
实验结果、总结和展望
基于以上技术思路,该研究构建了被动式和主动式两种光谱相机。为了测试光谱相机的光谱分辨能力,研究人员使用被动式光谱相机测试了不同中心波长的激光光谱,并分别针对窄带光谱与多种不同种类的光谱训练了不同的光谱解码DNN,结果如图2所示。针对窄带光谱的DNN可以实现0.55nm的中心波长定位精度(图2 C),适用于对单色光波长精度要求较高的场景;而针对更多种类光谱的DNN依然可以实现0.63nm的中心波长定位精度(图2 D),适用于更加广泛的场景。后者可以分辨波长相距5.2nm的两个单色激光,实现了等效5.2nm的光谱分辨率(图2 E)。图2. BEST Camera的光谱分辨能力评价
图3. 被动式BEST Camera的光谱成像效果
(A、C:样品的RGB图像;B、D:根据BEST camera输出的光谱图像计算所得的RGB图像;E-J:样品图像对应像素处的光谱曲线)
图4. 主动BEST Camera的光谱成像效果
(A:样品的RGB图像;B:根据BEST Camera输出的光谱图像计算所得的RGB图像;C-F:样品图像对应像素处的光谱曲线)
图5. 主动式BEST Camera样机实拍
图6. BEST Camera的入射角度敏感性分析
(同一样品在不同入射角下的光谱重建结果,A:标定后;B:标定前)
总结与展望
论文信息:
Zhang, W., Song, H., He, X. et al. Deeply learned broadband encoding stochastic hyperspectral imaging. Light Sci Appl 10, 108 (2021).
技术详见:
https://www.nature.com/articles/s41377-021-00545-2
来自该研究小组近期相关技术的解读
成像专题 | 智能光谱探测:宽光谱编码滤光片与解码算法协同设计 (Advanced Theory & Simulations) 欢迎点击查阅
* 主要文字由论文作者成员撰写,所有图片素材均来源于作者原始论文及网络公开资料,该技术分享不做任何商业用途。
回顾与预告
上期回顾:显示专题 | "迈克尔逊全息"实现高质量近眼显示(OSA Optica)欢迎点击查阅
下期预告:不定期推荐学术领域具有代表性的计算显示和计算成像研究工作,穿插新型光学设计和VR/AR光机实现科普等的资讯分享,欢迎订阅关注。
由于近期微信公众号改版因素,部分用户反映更新通知不及时问题,根据网络资料,可以通过在设置里把我们地公众号加星关注实现对我们的支持,也可以通过点击右下角“点赞”和“在看”标识,以便及时收到更新通知,再次感谢大家的理解和支持!
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主,非盈利非广告,希望能够结交共同兴趣方向的读者们,建立光学和计算机交叉学科领域内一个资讯分享交流的平台,还望大家多多支持,欢迎来稿,欢迎拍砖。
END